\chapter{Evaluación del ANS}
\label{chap:evaluacion}

En este capítulo se presenta la evaluación del Sistema de Anotaciones Ambientales. Esta evaluación se diseñó con el propósito de identificar fortalezas y debilidades funcionales y de diseño del sistema propuesto.

A lo largo de este capítulo se presenta el procedimiento seguido para realizar la evaluación, los resultados obtenidos y la discusión de éstos.

\section{Objetivo}

El objetivo general de la evaluación es analizar el funcionamiento del ANS en condiciones parecidas a las del uso esperado del sistema, puesto que los experimentos realizados anteriormente (ver Capítulo~\ref{chap:ans}) se efectuaron en un ambiente controlado, donde las imágenes de prueba contienen pocas imágenes distorsionadas o borrosas. Además, es necesario analizar el tiempo requerido para enviar imágenes al Servidor, y para que éste envíe el resultado a la aplicación Cliente. También se busca comparar los dos tipos de notificación (vibratoria y auditiva), con el fin de saber qué método es más efectivo para notificar al usuario de la presencia de etiquetas en el entorno.

\section{Variables}

% Una variable se puede definir como todo aquello que se va a medir, controlar y estudiar en una investigación. Por lo tanto, es importante, antes de iniciar una investigación a fondo, que se establezcan las variables a medir y la manera en qué esto se llevará a cabo. 

A continuación se presentan las variables independientes y dependientes definidas para esta evaluación.
%http://www.gandhi.com.mx/index.cfm/id/Producto/dept/libros/pid/46319


\subsubsection{Variables independientes}

\begin{itemize}
\item Tipo de notificación: El sistema puede notificar al usuario sobre la presencia de una etiqueta mediante dos tipos de alerta: vibratoria y audible.
\end{itemize}

\subsubsection{Variables dependientes}

\begin{itemize}
\item Precisión de notificación: Se refiere a la precisión de la aplicación Cliente para notificar satisfactoriamente al usuario de la presencia de una etiqueta en el entorno. Mediante el seguimiento personal a cada participante se podrá comprobar si el usuario detecta estas notificaciones.
\item Tiempo por consulta de etiquetas: Se cronometrará desde el momento en que se envía la petición por parte de la aplicación Cliente hasta que éste recibe una respuesta del Servidor.
\item Número de consultas realizadas: Se contabilizarán todas las consultas realizadas durante la evaluación.
\item Tamaño de imágenes: Se registrará el tamaño de cada imagen enviada al Servidor por parte del Cliente.
\item Puntos de interés por consulta: Se guardará la cantidad de puntos de interés extraídos a partir de estas imágenes.
\item Falsos positivos (FP): Son aquellas etiquetas que el Servidor considera que están presentes en alguna imagen, y sin embargo, esto es incorrecto. Los resultados (etiquetas encontradas o resultado nulo) se almacenarán para analizar las imágenes posteriormente e identificar si las etiquetas detectadas por el sistema están realmente presentes. Este registro también se utilizará para las tres variables restantes.
%  en alguna de ellas aparece un objeto de interés no detectado por el sistema.
% En un registro se almacenarán todos los resultados (etiquetas encontradas o resultado nulo) obtenidos por el Servidor. 
\item Verdaderos positivos (VP): Son aquellas etiquetas que el Servidor considera, de manera correcta, que están presentes en alguna imagen.
\item Falsos negativos (FN): Son aquellas etiquetas que el Servidor no es capaz de identificar, aún cuando sí están presentes en alguna imagen específica.
\item Verdaderos negativos (VN): Se considera un VN cuando el Servidor indica, de forma correcta, que no hay etiquetas en alguna imagen determinada.
\end{itemize}



\section{Hip\'otesis}

\begin{itemize}
\item Hipótesis: Al usar audio como método de notificación resulta más fácil detectar la presencia de etiquetas, en comparación con la alerta vibratoria.
% \item Hipótesis 2: Usar mensajes de audio como método de despliegue es más cómodo que la presentación de información en pantalla.
\end{itemize}


% section{Muestra}

% Para la realización de esta evaluación se contó con 6 individuos.


% section{Paradigma de dise\~no}

% Se utilizó un paradigma de diseño experimental \emph{within-subjects} para llevar a cabo el experimento. Los seis participantes realizaron dos tareas de cinco actividades cada una. Una tarea se realizó utilizando notificaciones vibratorias y la otra con notificaciones audibles. Las tareas se diseñaron de forma que requirieran un tiempo similar para ser completadas.



\section{Dise\~no del experimento}

Se decidió utilizar un paradigma de diseño experimental \emph{within-subjects} para llevar a cabo el experimento. Los participantes realizarán dos tareas de cinco actividades cada una. Las actividades consisten en acciones sencillas, con un requerimiento mínimo de tiempo y esfuerzo. Para completar las tareas los participantes deben realizar estas actividades de forma secuencial; cada actividad requiere que el participante se desplace a un cuarto diferente y realice la acción indicada. Una tarea se realizará utilizando notificaciones vibratorias y la otra con notificaciones audibles. Las tareas se diseñaron de forma que requieran un tiempo similar para completarse.

Para poder llevar un control de las actividades cada participante será citado individualmente. Antes de comenzar, se les dará una breve introducción sobre el funcionamiento de la aplicación Cliente y se les explicarán las actividades a realizar. Esto se hará con la finalidad de que los participantes puedan expresar sus dudas e inquietudes. Una vez completada la evaluación, cada participante contestará un cuestionario de salida con preguntas sobre la usabilidad del sistema (ver Apéndice~\ref{ap:a}).

% Se definieron dos tareas, con una serie de actividades cada una. Las actividades consisten en acciones sencillas, con un requerimiento mínimo de tiempo y esfuerzo. Para completar las tareas los participantes deben realizar estas actividades de forma secuencial; cada actividad requiere que el participante se desplace a un cuarto diferente y realice la acción indicada.

\begin{figure}[ht]
	\vspace{5 mm}
	\centering
    \includegraphics[width=15cm]{figures/evaluacion/tags.pdf}
    \caption{Etiquetas creadas para la evaluación del ANS. La información textual y audible asociada a estas etiquetas indica al usuario que realice alguna actividad extra, sin que afecte el curso natural de la tarea.}
    \label{fig:etiquetasexperimento}
\end{figure}

Se crearon 10 etiquetas (ver Figura~\ref{fig:etiquetasexperimento}), en diferentes cuartos del Departamento de Ciencias Computacionales de CICESE, con su respectiva información textual y auditiva. Las actividades de las tareas requieren que los participantes se coloquen enfrente de estos objetos. Cuando el sistema detecte un objeto de interés notificará al usuario y le indicará que realice otra acción. Estas actividades ``extras'' no tendrán ningún efecto en el curso de la tarea, por lo que si son omitidas no cambiarán el curso de las actividades principales.

También se les informará a los participantes que no deben usar la aplicación como un buscador, es decir, que no se detengan en algún lugar esperando que el sistema les muestre información sobre algún objeto.

Se observará a cada participante, con el objetivo de llevar un control paralelo sobre los resultados de la evaluación, así como también para solucionar cualquier inconveniente que pueda surgir de improvisto.



\subsection{Actividades}

\begin{table}[h]
\vspace{2 mm}
\footnotesize
\centering
\caption{Orden en que los participantes llevarán a cabo las tareas, así como también el tipo de notificación utilizado en cada una.}
\label{tab:actividades}
\begin{tabular}{c|c|c|c|c|c|c|}
\cline{2-7}
	& \multicolumn{6}{c|}{\small{\textbf{Participantes}}} \\
\cline{2-7}
\multicolumn{1}{c|}{} & \textbf{P1} & \textbf{P2} & \textbf{P3} & \textbf{P4} & \textbf{P5} & \textbf{P6} \\
\hline
\multicolumn{1}{|c|}{\textbf{Tarea 1}} & Vibración & Audio & Vibración & Vibración & Audio & Vibración\\
%\cline{1-7}
\multicolumn{1}{|c|}{\textbf{Tarea 2}} & Audio & Vibración & Audio & Audio & Vibración & Audio\\
\hline
\end{tabular}
\end{table}

En la Tabla~\ref{tab:actividades} se muestra el orden en que los participantes realizarán las tareas, así como también el tipo de notificación utilizado en éstas. A continuación se describen las dos tareas a llevar a cabo por los participantes.



\subsubsection{Tarea 1}

\begin{figure}[ht]
% 	\vspace{6 mm}
	\centering
    \includegraphics[width=10cm]{figures/evaluacion/juego1.pdf}
    \caption{Mapa de ubicaciones y actividades de la Tarea~1. (1)~Laboratorio de Cómputo Móvil y Ubicuo; (2)~Laboratorio; (3)~Oficina de un investigador; (4)~Oficina de secretarias.}
    \label{fig:tarea1}
\end{figure}

En la Figura~\ref{fig:tarea1} se muestra un mapa donde se indica la ubicación de los objetos con los que los participantes deben interactuar en cada actividad de la Tarea~1. A continuación se listan las cinco actividades asociadas a la Tarea~1.

% en el que se indica el orden en que se visitaron los lugares y la ubicación de los objetos con los que los participantes debían interactuar.

% se muestra el flujo de actividades que los participantes realizaron para completar la Tarea~1. Además, se indican los objetos con los que los participantes debían interactuar.

\begin{enumerateletters}
\item Ir al garrafón con agua cerca de (1), llenar el vaso que está sobre éste.
\item Regar la maceta de (3) (cactus).
\item Ir a (1), buscar la revista «IEEE Spectrum \#2.11» en el librero del fondo.
\item Llevar la revista a (2), y colocarla dentro de la estantería gris.
\item Ir a (4) y tomar una bolsa de botanas (están en un mueble entrando a la derecha).
\end{enumerateletters}

\subsubsection{Tarea 2}

\begin{figure}[ht]
% 	\vspace{6 mm}
	\centering
    \includegraphics[width=10cm]{figures/evaluacion/juego2.pdf}
    \caption{Mapa de ubicaciones y actividades de la Tarea~2. (1)~Laboratorio de Cómputo Móvil y Ubicuo; (3)~Oficina de un investigador; (4)~Oficina de secretarias; (5)~Sala de Juntas.}
    \label{fig:tarea2}
\end{figure}

En la Figura~\ref{fig:tarea2} se muestra un mapa donde se indica la ubicación de los objetos con los que los participantes deben interactuar en cada actividad de la Tarea~2. A continuación se listan las cinco actividades asociadas a la Tarea~2.

\begin{enumerateletters}
\item Ir a (1), a la derecha del escritorio de Eduardo hay un calendario 2010, buscar el día de la semana (lunes, martes, etc.) en que cumpliste años.
\item Ir a (3) y utilizar el teléfono para marcar la extensión 23444.
\item Ir a (5) y tomar un ejemplar del artículo titulado «The Most Highly Cited Paper in Publishing History: Protein Determination by Oliver H. Lowry».
\item Ir a la pizarra de corcho y arrancar el teléfono del anuncio de renta de submarinos.
\item Ir a (4) y tomar un refresco del refrigerador.
\end{enumerateletters}



\subsection{Infraestructura del experimento}

\begin{figure}[ht]
	\vspace{3 mm}
	\centering
    \includegraphics[width=15cm]{figures/evaluacion/equipo.pdf}
    \caption{Equipo de hardware utilizado en la evaluación del ANS. Izquierda: El usuario se cuelga el dispositivo móvil del cuello, con la cámara de éste hacia el exterior. Centro: El usuario porta la videocámara Looxcie en la oreja derecha. Derecha: El usuario se coloca un auricular en la oreja izquierda.}
    \label{fig:equipo}
\end{figure}

El Departamento de Ciencias de la Computación de CICESE cuenta con una red inalámbrica basada en el estándar de la IEEE 802.11b/g. Se utilizará esta red para la comunicación entre la aplicación Cliente y el Servidor. Se utilizará el teléfono Samsung Nexus S para ejecutar la aplicación Cliente. Para la aplicación Servidor, se usará una computadora Dell XPS con un procesador AMD Athlon 64 X2 Dual Core y 4 GB de memoria RAM. Adicionalmente, se equipará a los participantes con la videocámara auricular Looxcie\footnote{\url{http://looxcie.com}} para grabar el experimento desde el punto de vista del usuario. En el experimento piloto se observó que los mensajes de audio no se escuchaban debido al ruido ambiental y al envoltorio del teléfono móvil, por lo tanto, se utilizarán también unos audífonos. En la Figura~\ref{fig:equipo} se muestra la configuración del equipo portado por los participantes.



\section{Desarrollo del experimento}

Se decidió realizar la evaluación con 6 individuos, estudiantes de maestría y doctorado de CICESE, con una edad promedio de 27.8 años, ninguno de los cuales había tenido contacto con la aplicación funcional. La evaluación se llevó a cabo en un día, en un período de tres horas, a partir de las 5 pm.

La actividad \textbf{c)} de la Tarea~1 tuvo que excluirse del análisis, puesto que la señal inalámbrica en el Laboratorio (2) se debilitaba hasta el punto en que la comunicación entre el Cliente y el Servidor fallaba. Esto ocasionó que la aplicación Cliente no pudiera enviar peticiones de consulta casi desde el momento de ingresar a este cuarto; pudiendo continuar hasta que el participante salía del mismo.


\section{An\'alisis de datos}

%Se revisaron todas las imágenes enviadas al Servidor, junto con un archivo de registro, para determinar los FP, VP, FN y VN. Además, se analizaron seis cuestionarios de salida para conocer la opinión y observaciones de los participantes.
Se revisaron todas las imágenes enviadas al Servidor, junto con un archivo de registro. Además, se analizaron las respuestas a los seis cuestionarios de salida.

% Pausas: Se consideraron como pausas (silencios) todas aquéllas donde el enfermero dejó de hablar mientras buscaba en los algoritmos y que además, su duración excedió los 2 segundos (Newman et al., 2010).
% Contacto visual: Se consideró como contacto visual la acción de mirar fijamente al paciente, también se cronometró cuando lo miraba por más de 2 segundos.
% Eficacia: Una consulta se consideró eficaz si el enfermero llegó a la recomendación adecuada.
% Navegación: Cuando el enfermero hacía alguna pregunta que no correspondiera con el camino óptimo de la consulta, se aumentaba el peso (castigo) de navegación.
% Tiempo: Se cronometró desde el saludo inicial hasta la despedida. 
% Utilidad: Se midió mediante una serie de cuestionarios aplicados a los enfermeros.



\subsection{Resultados}

En esta sección se presenta el análisis y representación de los resultados obtenidos. 

%La actividad \textbf{c)} de la Tarea~1 tuvo que excluirse del análisis, puesto que la señal inalámbrica en el Laboratorio (2) se debilitaba hasta el punto en que la comunicación entre el Cliente y el Servidor fallaba. Esto ocasionó que la aplicación Cliente no pudiera enviar peticiones de consulta casi desde el momento de ingresar a este cuarto; pudiendo continuar hasta que el participante salía del mismo.

% A continuación se presentan los resultados obtenidos:
\begin{itemize}
% \item En total, el Servidor realizó 1002 búsquedas de etiquetas durante la evaluación.
\item Se realizaron, en promedio, 167 consultas de etiquetas por tarea, con una desviación estándar de 42.1 consultas. En total, el Servidor procesó 1002 consultas.
\item Cada participante requirió de 5.9 minutos en promedio para completar ambas tareas satisfactoriamente, con una desviación estándar de 1.06 minutos.
\item En promedio, las consultas de etiquetas se realizaron cada 2.144 segundos, con una desviación estándar de 2.047 segundos.
\item El Servidor procesó imágenes con un tamaño promedio de 59.28 KB, con una desviación estándar de 14.76 KB.
\item Se obtuvieron, en promedio, 171.31 PI por imagen, con una desviación estándar de 164.65 PI.
\end{itemize}

En la Tabla~\ref{tab:resultados} se muestran, para cada participante, las etiquetas correctamente identificadas por el ANS.

\begin{table}[ht]
\vspace{4 mm}
\footnotesize
\centering
\caption{Etiquetas identificadas por el ANS, para cada participante.}
\label{tab:resultados}
\begin{tabular}{c|ccccc||ccccc|}
\cline{2-11}
&\begin{sideways}\textbf{Pintarrón}\end{sideways} 
&\begin{sideways}\textbf{Estantería}\end{sideways} 
&\begin{sideways}\textbf{Dispensador}\end{sideways} 
&\begin{sideways}\textbf{Caja de laptop}\end{sideways} 
&\begin{sideways}\textbf{Cuadro}\end{sideways} 
&\begin{sideways}\textbf{Calendario}\end{sideways} 
&\begin{sideways}\textbf{Mapa}\end{sideways} 
&\begin{sideways}\textbf{Caja de monitor}\end{sideways} 
&\begin{sideways}\textbf{Anuncio}\end{sideways} 
&\begin{sideways}\textbf{Refrigerador}\end{sideways}\\
\hline
\hline
\multicolumn{1}{|c|}{\textbf{P1}} & & X & $\bullet$ & & & $\bullet$ & & $\bullet$ & $\bullet$ & \\ 
\hline
\multicolumn{1}{|c|}{\textbf{P2}} & $\bullet$ & X & & & $\bullet$ & $\bullet$ & & $\bullet$ & $\bullet$ & \\ 
\hline
\multicolumn{1}{|c|}{\textbf{P3}} & & X & $\bullet$ & & $\bullet$ & $\bullet$ & & $\bullet$ & $\bullet$ & \\ 
\hline
\multicolumn{1}{|c|}{\textbf{P4}} & & X & $\bullet$ & $\bullet$ & $\bullet$ & $\bullet$ & & $\bullet$ & $\bullet$ & \\ 
\hline
\multicolumn{1}{|c|}{\textbf{P5}} & & X & & $\bullet$ & $\bullet$ & $\bullet$ & $\bullet$ & $\bullet$ & $\bullet$ & \\ 
\hline
\multicolumn{1}{|c|}{\textbf{P6}} & & X & & & $\bullet$ & $\bullet$ & & $\bullet$ & $\bullet$ & \\ 
\hline
\end{tabular}
\end{table}

En la Tabla~\ref{tab:falsosverdaderos1} se muestran los valores de los FP, VP, FN y VN globales, es decir, de las 1002 consultas realizadas.

\begin{table}[ht]
\vspace{4 mm}
\footnotesize
\centering
\caption{Valores obtenidos a partir de las 1002 consultas realizadas en la evaluación. VP: Verdaderos positivos, FP: Falsos positivos, FN: Falsos negativos, VN$^1$: Verdaderos negativos resultantes de la Revisión de Consistencia Geométrica (ver Sección~\ref{sec:geometric}), VN$^2$: Verdaderos negativos determinados mediante el número mínimo de puntos de interés considerados.}
\label{tab:falsosverdaderos1}
\begin{tabular}{|c|c|c|c|c|}
\hline
\textbf{VP} & \textbf{FP} & \textbf{FN} & \textbf{VN$^1$} & \textbf{VN$^2$} \\
\hline
\hline
50 & 3 & 61 & 21 & 867 \\
\hline
\end{tabular}
\end{table}

En la Figura~\ref{graf:vpfnfp} se muestra el número de VP, FN y FP separados por participante.

\begin{figure}[ht]
	\vspace{4 mm}
	\centering
    \includegraphics{charts/vpfnfp.pdf}
    \caption{Gráfica que muestra el número de VP, FN y FP resultantes por cada participante.}
    \label{graf:vpfnfp}
\end{figure}

La Figura~\ref{graf:notificacion} muestra el número de notificaciones, de ambos tipos (vibratoria y audible), reconocidas por cada participante.

\vspace{4 mm}
\begin{figure}[h]
% 	\vspace{4 mm}
	\centering
    \includegraphics{charts/notificacion.pdf}
    \caption{Gráfica que muestra el número de notificaciones vibratorias y audibles reconocidas por los participantes.}
    \label{graf:notificacion}
\end{figure}

Adicionalmente, con el fin de extender los resultados, se analizaron imágenes obtenidas a partir de la videocámara Looxcie. Para ello, se consideró el video capturado por dos participantes seleccionados al azar. Se capturaron fotogramas con una separación de 1 segundo y se analizaron en el Servidor en modo \emph{offline}. Cabe mencionar que esta videocámara solamente soporta una resolución de video de 640~x~480 pixeles, en contraste con la resolución manejada por el dispositivo móvil (720~x~480 pixeles); en la Figura~\ref{fig:celvslooxcie} se muestra una comparación entre imágenes capturadas con la cámara del teléfono móvil y la videocámara Looxcie.

\begin{figure}[ht]
	\vspace{4 mm}
	\centering
    \includegraphics[width=15.5cm]{figures/evaluacion/celvslooxcie.jpg}
    \caption{Comparación entre imágenes capturadas con la cámara del teléfono móvil (arriba) y la videocámara Looxcie (abajo).}
    \label{fig:celvslooxcie}
\end{figure}

Se analizaron los FP, VP, FN y VN para comparar estos resultados con aquéllos obtenidos anteriormente. En la Tabla~\ref{tab:falsosverdaderos2} se muestran los resultados de este último análisis.

\begin{table}[ht]
\vspace{4 mm}
\footnotesize
\centering
\caption{Valores obtenidos a partir de las imágenes capturadas con la videocámara Looxcie, con una separación de 1 segundo entre cada una. VP: Verdaderos positivos, FP: Falsos positivos, FN: Falsos negativos, VN: Verdaderos negativos.}
\label{tab:falsosverdaderos2}
\begin{tabular}{|c|c|c|c|}
\hline
\textbf{VP} & \textbf{FP} & \textbf{FN} & \textbf{VN} \\
\hline
\hline
29 & 0 & 71 & 597\\
\hline
\end{tabular}
\end{table}

En la Figura~\ref{graf:looxcie} se muestra la comparación entre el número de VP, FN y FP obtenidos a partir de las imágenes capturadas con la cámara del dispositivo móvil y aquéllas tomadas con la videocámara Looxcie.

\begin{figure}[ht]
	\vspace{4 mm}
	\centering
    \includegraphics{charts/looxcie.pdf}
    \caption{Gráfica que muestra el número de VP, FN y FP obtenidos con imágenes del dispositivo móvil y de la videocámara Looxcie.}
    \label{graf:looxcie}
\end{figure}



\subsubsection{Encuesta de salida}

A continuación se presentan los resultados de la encuesta de salida. En la Tabla~\ref{tab:cinteraccionfacilidad} se muestran las respuestas de los participantes respecto a las afirmaciones del cuestionario.


% En la Figura~\ref{graf:cinteraccion} se muestran las respuestas de los participantes respecto a la primer afirmación del cuestionario, ``\emph{La interacción con la aplicación es clara y entendible}''.

% \begin{figure}[ht]
% 	\centering
%     \includegraphics{charts/cinteraccion.pdf}
%     \caption{Respuestas de los participantes respecto a la afirmación ``\emph{La interacción con la aplicación es clara y entendible}''.}
%     \label{graf:cinteraccion}
% \end{figure}

% La Figura~\ref{graf:cfacilidad} muestra la facilidad de uso percibida por los participantes, obtenida mediante la afirmación ``\emph{Considero que la aplicación es fácil de usar}''.

% \begin{figure}[ht]
% 	\centering
%     \includegraphics{charts/cfacilidad.pdf}
%     \caption{Respuestas de los participantes sobre la afirmación ``\emph{Considero que la aplicación es fácil de usar}''.}
%     \label{graf:cfacilidad}
% \end{figure}


\begin{table}[ht]
\vspace{4 mm}
\footnotesize
\centering
\caption{Respuestas de los participantes respecto a las afirmaciones del cuestionario de salida.}
\label{tab:cinteraccionfacilidad}
\begin{tabular}{z{4.3cm}|y{2.2cm}|y{1.8cm}|y{1.4cm}|y{1.4cm}|y{1.8cm}|}
\cline{2-6}
& \scriptsize{\textbf{Totalmente en Desacuerdo}} 
& \scriptsize{\textbf{En Desacuerdo}} 
& \scriptsize{\textbf{Neutral}} 
& \scriptsize{\textbf{De Acuerdo}} 
& \scriptsize{\textbf{Totalmente de Acuerdo}} \tabularnewline
\hline
\hline
\multicolumn{1}{|z{4.3cm}|}{\scriptsize{\textbf{La interacción con la aplica- ción es clara y entendible}}} 
& 0 & 0 & 1 & 2 & \textbf{3} \tabularnewline
\hline
\multicolumn{1}{|z{4.3cm}|}{\scriptsize{\textbf{Considero que la aplicación es fácil de usar}}} 
& 0 & 0 & 0 & \textbf{4} & 2 \tabularnewline
\hline
\end{tabular}
\end{table}

En las Figuras~\ref{graf:cnotificacion} y \ref{graf:cpresentacion} se muestra el método preferido por los participantes para notificar la detección de una etiqueta en el entorno y para presentar la información asociada a dicha etiqueta, respectivamente.

\begin{figure}[ht]
%   \vspace{6 mm}
  \centering
  \subfloat[\label{graf:cnotificacion}]{
    \includegraphics{charts/cnotificacion.pdf}
  }
  \hspace{5mm}
  \subfloat[\label{graf:cpresentacion}]{
    \includegraphics{charts/cpresentacion.pdf}
  }
  \caption{(a) Gráfica que muestra la preferencia de los participantes sobre el tipo de notificación recibida cuando se detecta una etiqueta en el entorno. (b) Gráfica que muestra la preferencia de los participante sobre el método de presentación de información asociada a una etiqueta.}
  \label{graf:cpresentacionnotificacion}
\end{figure}

% \begin{figure}[ht]
% 	\centering
%     \includegraphics{charts/cpresentacion.pdf}
%     \caption{Gráfica que muestra la preferencia de los participante sobre el método de presentación de información asociada a una etiqueta.}
%     \label{graf:cpresentacion}
% \end{figure}

% La Figura~\ref{graf:cnotificacion} muestra la preferencia de los participante acerca del método de notificación de etiquetas.

% \begin{figure}[ht]
% 	\centering
%     \includegraphics{charts/cnotificacion.pdf}
%     \caption{Gráfica que muestra la preferencia de los participantes sobre el tipo de notificación recibida cuando se detecta una etiqueta en el entorno.}
%     \label{graf:cnotificacion}
% \end{figure}

A continuación se presentan algunas observaciones realizadas por los participantes:
\begin{itemize}
\item \emph{``No sentí la vibración''} (Este comentario lo realizaron 4 de los participantes).
\item \emph{``Si el teléfono estuviera más pegado al cuerpo se sentiría mejor la vibración en las notificaciones''}.
\item \emph{``La forma en que el dispositivo cuelga del cuello y el resto de los periféricos pueden ser un poco molestos''}.
\item \emph{``En la pantalla nunca vi nada, cuando tomaba el teléfono ya no había información''}.
\item \emph{``Se requiere algo de tiempo para que la aplicación reconozca objetos''}.
\end{itemize}



\section{Discusi\'on}

El número de puntos de interés obtenidos afecta directamente la latencia del sistema. La cantidad de PI extraídos depende de la textura de la imagen, es decir, de la cantidad de características significativas contenidas en ella. Por lo tanto, cuando los usuarios se acercaban a una puerta, el Servidor procesaba las imágenes capturadas rápidamente, pues la cantidad de PI obtenida era muy baja, en algunos casos llegando a cero.

\begin{figure}[ht]
% 	\vspace{6 mm}
	\centering
    \includegraphics[width=15cm]{figures/evaluacion/borrosas.pdf}
    \caption{Ejemplos de imágenes borrosas capturadas con el dispositivo móvil y posteriormente analizadas por el Servidor en busca de etiquetas, que si bien están presentes en dichas imágenes, el sistema no pudo identificarlas.}
    \label{fig:borrosas}
\end{figure}

Un aspecto importante que afectó el correcto reconocimiento de etiquetas es el procesamiento de imágenes borrosas. Aunque el dispositivo móvil utilizado cuenta con software de fábrica para estabilizar la captura de video, no es posible evitar por completo imágenes distorsionadas. En la Figura~\ref{fig:borrosas} se muestran algunas imágenes borrosas, con etiquetas que el sistema no pudo identificar. También influyó la forma en que se sujetó el dispositivo móvil y el posicionamiento de algunos objetos de interés, puesto que la altura de algunos participantes causó que, en algunas ocasiones, las fotos tomadas con la cámara del dispositivo captaran los objetos parcialmente, disminuyendo la probabilidad de que el sistema identificara la etiqueta asociada. Esto nos lleva a concluir que la ubicación del dispositivo y la forma en que se sujeta influyen de forma significativa en el desempeño del sistema.

Como se menciona anteriormente, una ubicación específica de la evaluación (Laboratorio) ocasionó la pérdida de comunicación entre el Cliente y el Servidor, por lo que se decidió no tomar en cuenta los datos de esta actividad en el análisis. Se observó que el sistema se recupera automáticamente, sin embargo, es necesario implementar una funcionalidad para que el Cliente deseche peticiones después de un determinado período de tiempo.

% Al analizar las imágenes se observó que, en muchas ocasiones, los objetos de interés no fueron capturados en su totalidad, es decir, que en las imágenes enviadas al Servidor solamente aparecía una parte de éstos, dificultando así su correcta identificación.

Como se puede ver en la Tabla~\ref{tab:resultados}, algunos objetos son más fáciles de identificar que otros. El pintarrón, el mapa y el refrigerador fueron los objetos más difíciles de identificar. En el caso del último, el sistema nunca pudo reconocerlo en las imágenes, sin embargo, debido a la ubicación de éste y el camino recorrido por los participantes para llegar a él, las imágenes lo contenían parcialmente, ocasionando que el Servidor obtuviera pocos PI para realizar la búsqueda de etiquetas.

Observando la Figura~\ref{graf:vpfnfp} se puede notar que en las 1002 consultas realizadas durante toda la evaluación, solamente se obtuvieron tres Falsos Positivos, en contraste con los 50 VP. Este resultado es prometedor, puesto que, aunque algunas etiquetas fueron difíciles de identificar, por diversas razones, el sistema es bastante robusto en cuanto a FP.

Respecto al tipo de notificación, de los 50 VP, 30 se notificaron mediante una alerta de audio, los 20 restantes vía vibración. Todas las notificaciones con audio se reconocieron satisfactoriamente por los participantes. Por el contrario, los usuarios solamente sintieron 3 de las 20 notificaciones vibratorias, representando un 15\%. Con esto se aprueba la hipótesis planteada, ya que es claro que existe una diferencia significativa. Cabe mencionar que la aplicación puede personalizarse para que el usuario final seleccione el tipo de notificación (o ambos) que más se acomode a sus necesidades.

%implementación del equipo, grueso de la ropa, colgando, no sentían

Solamente dos participantes trataron de utilizar la pantalla del dispositivo móvil para obtener mayor retroalimentación sobre la etiqueta detectada. Sin embargo, en la mayoría de las ocasiones, cuando los participantes giraban el dispositivo para observar la pantalla, el cuadro de diálogo que contiene la información de la etiqueta ya había desaparecido automáticamente, para que el sistema pudiera seguir consultando en busca de etiquetas; la aplicación Cliente está programada para mostrar dicho diálogo solamente por 5 segundos. Aunque los demás participantes no sintieron la necesidad de observar la pantalla del dispositivo móvil, se puede implementar una opción para personalizar el tiempo de permanencia de estos cuadros de diálogo.

Al analizar las imágenes capturadas con la videocámara Looxcie (del recorrido de los participantes P2 y P6) se obtuvieron más VP (29) que en el análisis de las imágenes capturadas con el dispositivo móvil (19); además, no se obtuvieron FP. Una razón posible para este comportamiento es el campo de visión de la cámara Looxcie, ya que ésta se portó en la oreja derecha de los participantes, captando imágenes similares a la visión del participante. De esta forma, las fotografías contenían los objetos de interés en su totalidad, aumentando la probabilidad de que el sistema los reconociera correctamente. Además, esta probabilidad también aumentó por el hecho de que se realizaron más del doble de consultas (Dispositivo móvil: 258, Looxcie: 597).

La mayoría de los participantes estuvieron de acuerdo en que la interacción con la aplicación es clara y entendible. Además, todos los participantes estuvieron de acuerdo en que la aplicación es fácil de usar.

Por último, la mayoría de los participantes prefirió un sonido de alerta como tipo de notificación, y que la información de la etiqueta se presentara de forma auditiva.

\section{Resumen}

En este capítulo se presentó la evaluación del ANS para analizar su funcionamiento en condiciones parecidas a las del uso esperado del sistema. Primeramente se presentaron las variables independientes y dependientes, indicando la forma en qué se midieron. Después se planteó una hipótesis. Posteriormente, se describió el diseño del experimento, definiendo el paradigma de diseño, muestra y actividades a realizar por parte de los participantes; también se describió la infraestructura del experimento. En la siguiente sección se presentó el análisis y representación de los resultados obtenidos, tanto de las variables medidas como de las encuestas de salida realizadas. Finalmente, se presentó la discusión y las conclusiones a partir de este análisis.

Se concluyó que las notificaciones audibles son más efectivas que las notificaciones vibratorias para avisar sobre la presencia de etiquetas en el entorno. También se observó que algunos objetos son más difíciles de identificar que otros, debido a la forma y textura de los mismos. Un dato importante es que durante la evaluación solamente se generaron 3 falsos positivos, dentro de 1002 consultas.

En el siguiente capítulo se presentan las conclusiones y aportaciones de esta tesis, así como también algunos aspectos a abordar como trabajo futuro.
